Diffusion Language Models Change Speed Across Tasks and Languages
扩散语言模型解码速度随任务与语言变化
🧭 扩散LM推理成本与解码速度分析
University of California, Los Angeles · CIS, LMU Munich · Munich Center for Machine Learning
扩散LM前向次数由输出新颖性与词稀有度决定，解码速度加权候选可提升推理准确率4.2点
📌 工作参考价值（4 点）
- 生成式任务可借鉴“解码步数作为难度/置信度信号”：在生成推荐理由、广告文案、搜索词推荐时，用前向次数或解码速度对候选结果排序或早停，低成本的候选往往更可靠。
- 对不同类型的生成任务设置差异化资源预算：复制/改写类任务（如 query 改写、标题生成）成本低，开放式生成（如创意文案）成本高，可在系统中动态分配超时或批大小。
- 多语言场景需额外考虑每 token 成本：高 tokenization 的语言不仅 token 数多，每 token 前向次数也更高，在估算延迟或做多语言资源分配时应加权而非只看 token 数。
- 用解码速度加权候选答案优于多数投票，在集成多个生成结果时可以在不增加额外成本的前提下提升可靠性，适合用于生成式推荐或 Agent 的最终答案选取。